![arXiv:2309.12727v1 [cs.AI] 2023 年 9 月 22 日](/simg/8/80831af7b3eb240bc15eda4d1c1bd00f2d6857b0.png)
机构名称：
¥ 1.0
大型语言模型 (LLM) 因其强大的功能和对世界的广博知识而对社会产生了巨大影响。人们已经创建了各种应用程序和工具，允许用户在黑盒场景中与这些模型进行交互。但是，这种情况的一个限制是用户无法修改模型的内部知识，而添加或修改内部知识的唯一方法是在当前交互期间向模型明确提及它。这种学习过程称为上下文训练，它指的是局限于用户当前会话或上下文的训练。上下文学习具有重要的应用，但也有很少被研究的局限性。在本文中，我们进行了一项研究，展示了模型如何受到上下文中不断流动的信息之间的干扰，导致其忘记以前学到的知识，从而降低模型的性能。除了展示问题之外，我们还提出了基于 bAbI 数据集的评估基准。
arXiv:2309.12727v1 [cs.AI] 2023 年 9 月 22 日
主要关键词
![arXiv:2309.12727v1 [cs.AI] 2023 年 9 月 22 日PDF文件第1页](/bimg/f/fc8ef548be71ab5afdfee35c0b8d0cbc167b7b42.webp)
![arXiv:2309.12727v1 [cs.AI] 2023 年 9 月 22 日PDF文件第2页](/bimg/4/45b5825d741a579b147a151938e945a910104690.webp)
![arXiv:2309.12727v1 [cs.AI] 2023 年 9 月 22 日PDF文件第3页](/bimg/2/2bf50c14cca7b41c7da985c870b2ea4dd3766937.webp)
![arXiv:2309.12727v1 [cs.AI] 2023 年 9 月 22 日PDF文件第4页](/bimg/1/1c3091b442f6461c0d8b58f19994489bdc6121b7.webp)
![arXiv:2309.12727v1 [cs.AI] 2023 年 9 月 22 日PDF文件第5页](/bimg/a/a3474f11e69cb2e4c436e588019c50e818f748b7.webp)
相关文件推荐
![arXiv:2309.13176v1 [cs.AI] 2023 年 9 月 22 日](/simg/6/64cc3a6d1140c561c8d315d5233ba6a650e51608.png)
![arXiv:2305.17666v1 [cs.NI] 2023 年 5 月 28 日](/simg/5/54564a57c3c5cfac9ab7803ef0527b7d1064a160.webp)
![arXiv:2203.12173v2 [econ.GN] 2023 年 1 月 30 日](/simg/4/407d6f9de555835db6379f78fa94871eb176b92a.webp)
![arXiv:2303.15939v1 [eess.IV] 2023 年 3 月 28 日](/simg/f/fb020348d55c0fbb9129702104facb46a48991f0.webp)
![arXiv:1808.07478v1 [physics.comp-ph] 2018 年 8 月 22 日](/simg/3/31b559ea7e16b975d42434e32673aee842b0ea1f.webp)
